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摘 要 : 针对 通过 外 部 学 习 进 行 超 分 辨 率 存 在 图 像 质 量 不 佳 、 细 节 不 真实 的 问题 提出 一 种 压缩 感知 和 相似 性 约束 的 单 
帧 图 像 超 分 辨 率 算 法 。 算 法 首先 利用 压缩 感知 中 测量 域 与 频 域 的 线性 关系 对 训练 库 图 像 在 测量 域 分 类 ， 对 不 同类 别 图 
像 块 训练 对 应 类 别 的 字典 ， 提 高 字典 的 表示 能 力 ; 然后 在 重 构 时 利用 图 像 的 非 局 部 相似 性 ， 将 图 像 在 分 类 字典 下 的 稀 
羽 性 和 相似 块 信息 同时 作为 先 验 信息 联合 约束 重 构 过程 ， 最 后 恢复 出 高 分 辨 这 图 像 。 实 验 结果 表明 算法 重 构 出 的 高 分 
办 率 图 像 具 有 丰富 的 细节 以 及 清晰 的 边缘 ， 重 构图 像 主观 质量 良好 。 
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Abstract: Aiming at the problem of poor quality and contrived details in super-resolution reconstruction by external learning， 
this paper proposes a single image super-resolution based on compressed sensing and similarity constraint. Firstly, a classified 
dictionary based on measurement domain is proposed by using the linear relationship between the measurement domain and the 


frequency domain in compressed sensing, which improves the representation of dictionaries, then, the non-local similarity is 


used in the reconstruction process, the sparsity under the feature dictionary and similar block information are combined as priori 
information to regularize super-resolution reconstruction, and finally the high resolution image is recovered. Experimental 
results show that the reconstructed image has rich details and defined edges, and the subjective quality is good. 
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reconstruction 
全 滞 关 成 为 近 几 年 研究 的 热点 。Yang 等 人 外 提出 一 种 基于 稀 玻 表示 的 
一 超 分 辨 率 算法 ， 利 用 图 像 的 稀疏 性 ， 通 过 外 部 训练 库 学 习 具 有 


随 着 信息 技术 的 飞速 发 展 ， 图 像 已 经 成 为 人 类 获取 信息 的 。” ”对 应 关系 的 高 、 低 分 辨 率 字 典 对 ， 取 得 了 很 好 的 效果 ， 很 多 在 
重要 途径 之 一 ， 人 们 对 图 像 质量 的 要 求 也 越 来 越 高 ， 具 有 丰富 。 此 基础 上 改进 的 算法 也 相继 被 提出 。He 等 人 喇 针 对 耦合 特征 空 
细节 的 高 清 图 像 在 一 些 特定 领域 如 视频 监控 、 卫 星 图 像 、 医 疗 ” 间 学 习 超 完备 词典 的 问题 , 使 用 Beta 过 程 作为 先 验 的 贝 叶 斯 方 
数字 影像 等 具有 重要 的 应 用 价值 中 。 然 而 由 于 技术 或 者 硬件 成 ” 法 应 用 来 学 习 超 完备 字典 ， 相 比 其 他 算法 ， 该 针对 每 个 特征 空 
本 的 限制 之 间 更 一 致 和 


， 目 前 获取 的 很 多 图 像 质 量 较 差 ， 不 能 满足 实际 的 应 ” 间 提 供 定 相应 的 字典 ， 同 时 增加 了 两 个 特征 空间 
用 需求 。 超 分 辨 率 算法 作为 一 种 基于 软件 的 处 理 方式 ， 在 不 需 侍 确 的 映射 ,而 Beta 过 程 模型 的 独特 性 质 在 于 稀疏 表示 可 以 被 
要 改变 现 有 成 像 系统 的 条 件 下 就 可 以 提高 图 像 的 分 辩 率 ， 在 近 ” ”分解 为 值 和 字典 原子 指标 ， 从 而 在 看 合 特征 空间 之 间 实 现 一 致 
年 来 发 展 十 分 迅速 。 且 精 确 的 映射 ， 该 算法 的 另 一 个 优点 可 以 非 参 数 地 推断 字典 原 
二 
医 


bee 


多 帧 图 像 超 分 辩 率 算法 要 求 输入 的 低 分 辨 率 图 像 存在 多 上 子 的 数目 及 其 相对 重要 性 。Yeganli 等 人 中 提出 一 种 基于 选择 性 
并 且 只 有 亚 像素 的 位 移 ， 单 帧 图 像 超 分 辩 率 摆脱 了 这 个 限制 ， 稀 玻 表示 的 单 幅 图 像 超 分 辩 率 算法 的 扩展 ， 该 算法 在 一 组 耦合 
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的 低 分 辨 率 和 高 分 辩 率 的 字典 对 上 进行 ， 相 比 其 他 算法 ， 扩 展 ” 重 构 出 的 高 分 辨 率 图 像 存 在 不 真实 的 细节 。 

算法 为 高 清晰 度 值 的 块 保留 稀 疏 表示 框架 ， 而 双 三 次 插值 则 用 为 了 解决 上 述 问题 ， 本 文 提出 一 种 基于 压缩 感知 和 相似 性 
于 超 清 晰 非 尖 锐 块 如 果 一 个 块 属于 一 个 低 清 晰 度 的 簇 ， 则 使 用 ”约束 的 单 帧 图 像 超 分 辩 率 重 构 算 法 ， 主 要 包括 两 部 分 : 在 字典 
双 三 次 插值 进行 超 分 辨 否则 ， 这 个 块 在 群集 的 低 分 辨 率 字典 ”训练 时 利用 压缩 感知 理论 中 测量 域 和 频 域 的 相关 性 后 ， 提 出 一 
上 进行 了 稀 玻 编码 ， 然 后 ， 利 用 低 分 辩 率 块 的 稀 玻 编码 系数 和 ” ” 种 基于 测量 域 的 字典 分 类 方法 ， 提 高 字典 表示 能 力 ;， 在 重 构 时 


迄 的 高 分 辩 率 块 来 估计 相应 的 高 分 辩 率 块 。Li 等 人 na 提出 了 -将 图 像 的 自 相 似 信息 作为 先 验 信息 加 入 重 构 过 程 ， 提 出 一 种 联 
种 基于 自 适应 稀 玻 表示 的 超 分 辩 率 算法 ， 将 高 分 辩 率 图 像 与 具 。” 合 学 习 的 超 分 状 素 重 构 算法 。 实 验 结果 表明 ， 该 算法 恢复 出 包 
有 适 代 反 投 影 算 法 的 重建 图 像 之 间 的 差异 作为 图 像 的 高 频 特征 ，。 高 分 辩 率 图 像 细节 让 富 旦 真实 ， 边 缘 清晰 ， 主 观 质量 良好 。 
进一步 用 于 高 分 辨 率 的 字典 训练 。 在 边缘 检测 之 后 ， 改 进 的 算 _ . oe 
法 分 别 自 适应 地 将 稀 玖 表示 和 迁 代 反 投 影 应 用 于 边 毕 讽 块 和 光 “| ”车 于 侍 缩 感知 和 相似 性 约束 的 图 像 超 分 辨 率 算 法 
滑 斑 块 进行 重建 。 相 比 其 他 算法 ， 该 算法 重建 的 图 像 边缘 强 ， 本 文 算法 的 原理 框图 如 图 1 所 示 ， 主 要 包括 字典 学 习 和 和 
几乎 可 以 和 原 图 像 的 高 分 类 。 尽 管 上 述 改进 算法 均 存 。 构 两 个 过 程 。 将 文献 外 使 用 的 训练 图 像 库 在 测量 域 进行 分 类 ， 
在 各 自 的 优点 ， 但 这 种 基于 外 部 学 习 的 方法 存在 两 个 问题 ，a) 分 别 训练 对 应 类 别 的 特征 字典 ， 在 重 构 时 使 用 与 输入 图 像 块 最 
重 构图 像 的 效果 与 外 部 训练 集 的 选取 是 否 合适 有 着 很 大 的 关系 ， 接近 的 字 与 进行 重 构 ， 同 时 将 输入 图 像 喘 的 自 相似 块 也 作为 约 
I 果 待 重 构 的 图 像 与 外 部 训练 库 的 特征 差异 性 较 大 ， 则 重 构 出 。” 束 条 件 加 入 重 构 过 程 中 ， 联 合 图 像 块 的 稀疏 性 和 自 相似 性 恢复 
像 质量 较 差 ;b) 所 有 先 验 信息 都 是 通过 外 部 图 像 库 学 习 得 到 ， ”出 具有 细节 丰富 、 纹 理 真实 的 高 分 状 素 图 像 
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3 字典 学 习 过 程 


边缘 图 像 块 。 


i 
纹理 图 像 块 y, 边缘 字 与 对 (有 .D) 


图 
< | 降 取 对 应 高 分 


测量 


© 氏 分 图 像 库 低 分 图 像 块 y 测量 值 


图 像 块 


高 分 图 像 块 x 
纹理 字典 对 (DZ 


重 构 过 程 


对 协 方差 矩阵 中 各 个 元 素 求 方差 
选取 合适 字典 对 


特征 图 像 块 


自 相 似 图 像 块 


插值 一 
”| Cb Cr 分 量 | Cb Cr 高 分 图 


图 1 算法 原理 图 


特征 字典 对 


《9 答 入 低 分 图 像 


1.1 测量 域 分 类 字典 阵 ， 本 文 在 图 像 块 测量 之 前 ， 对 它 进行 二 次 分 块 ， 对 这 些 子 块 
针对 只 训练 一 个 通用 字典 导致 对 不 同类 型 图 像 表示 性 能 较 ”使 用 相同 高 斯 矩阵 进行 测量 ， 使 用 这 些 子 块 的 测量 值 向 量 构建 
差 的 问题 ， 本 文 提出 一 种 基于 测量 域 的 字典 分 类 方法 。 常 用 的 ”它们 所 在 的 大 图 像 块 的 测量 值 怎 阵 ， 如 图 2 所 示 ， 然 后 利用 测 
图 像 分 类 方法 通常 都 是 在 像素 域 进行 的 ， 而 训练 集 一 般 包 含 很 ” 量 值 矩阵 计算 互 协 方差 矩阵 的 方差 对 图 像 块 进行 分 类 。 具 体 算 
多 幅 图 像 , 这 使 得 分 类 处 理 的 数据 量 很 大 。 在 压缩 感知 理论 中 ， 法 步骤 如 下 : 
言 号 经 过 测量 后 , 数据 被 压缩 , 文献 名 表明 , 测量 值 与 相应 频 域 a) 对 整 幅 图 像 分 块 , 对 于 每 个 大 图 像 块 以 x 为 例子 , 将 它 
言 号 的 相关 性 呈 近 似 线性 关系 ， 而 频 域 信号 与 像素 域 信 号 具有 进行 二 次 分 块 , 分 成 大 小 一 致 的 四 个 子 块 Xoy, Xpz,Xw3, Xm ， 子 块 
密切 的 关系 ， 这 使 得 在 测量 域 对 图 像 块 分 类 的 做 法 具有 一 定 的 对 应 的 频 域 信号 为 6,,0,,0;,9, ， 对 每 个 子 块 使 用 同一 高 斯 矩阵 
可 行 性 。 测量 ， 将 得 到 的 测量 值 向 量 y,y2,y3,y4 构建 大 图 像 块 x 的 测 
将 训练 库 中 的 图 像 分 块 ， 大 小 为 8x8 ， 块 与 块 之 间 没 有 重量 值 矩 阵 y=[yjp929534] ， 令 y=[yinya in] 


县 区 域 .将 每 个 图 像 块 拉 成 一 维 列 向 量 使 用 高 斯 矩阵 进行 测量 ， (i=42,…,m) ， 那 么 可 进一步 表示 为 
得 到 的 测量 值 为 一 维 列 向 量 。 为 了 构建 每 个 图 像 块 的 测量 值 矩 
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使 用 文献 [2] 方 法 训练 字典 得 到 纹理 字典 对 (Di,Dr) 和 边 
7 缘 字 典 对 (De,De) 后 ， 在 对 输入 的 低 分 辩 率 图 像 进行 超 分 辨 率 
重 构 时 ， 对 每 一 个 图 像 块 y， 根 据 上 述 步骤 求 出 图 像 块 了 的 方 


了 =[ 3 


Du Ya Ya Va 
ya 2 2 yo 


差 var(y) ,车 var(y) <T， 则 当前 待 重 构 的 图 像 块 为 纹理 块 ， 选 
yy Yo Vy ya (1) ” 取 纹 理 字典 对 (D!,D*) 进行 重 构 ， 否 则 当前 重 构图 像 块 为 边缘 
yu ya 7 | 块 ， 选 取 边 缘 字 典 对 (D!,D') 进行 超 分 辩 率 重 构 。 该 分 类 方法 

| 六 yy 既 考虑 了 图 像 块 的 全 局 统计 特性 ， 也 在 一 定 程度 上 考虑 了 图 像 
块 的 局 部 分 布 特性 ， 输 入 图 像 根据 自身 特征 选取 最 适合 的 字典 
Yu ye Yan | 对 进行 重 构 ， 能 够 提高 字典 的 稀疏 表示 能 力 。 
b) 将 上 1,y2,y3,y4 视 为 一 组 随机 变量 且 六 ,加 作为 随 ” 1.2 联合 重 构 

机 变量 yy 的 样本， 利用 公式 通常 重 构 过 程 是 分 块 进行 的 ， 并 且 块 与 块 之 间 加 入 重 炙 部 

Cy = Cov(yi,y))= {Ly 一 E(yi)][yj; 一 E(yj)l} 计算 了 的 互 协 方 ” 分 避免 结果 图 像 出 现 明显 的 块 效应 。 将 输入 低 分 图 像 块 在 低 分 

差 矩 阵 C， ; 字典 表示 下 的 稀 疏 系数 & 直接 作为 待 重 构 高 分 图 像 在 高 分 字 

cc cc 下 的 稀疏 系数 ， 求 解 的 优化 过 程 可 表示 为 
全 三 O) minalal + |Da— 升 G) 
CC C3 Cs 和 2 > 
GC Cs Gal Fp, TEy] 
在 互 协 方差 失 阵 中 ，C,(iD)G = 让 能 够 衡量 相应 的 频 域 信 。 | -| 名 | PE 了 ,有 


号 的 方差 ，C,(i, (i 四 能 够 衡量 相应 的 频 域 子 块 9 和 90; 之 。 装 因 子 ，w 为 前 一 图 像 块 在 重 麦 区 域 恢复 的 高 分 辩 率 像素 值 ， 
间 的 相关 性 。 参数 4 用 来 平衡 解 的 稀 玻 性 和 对 图 像 块 》 的 近似 程度 ，Z 用 来 

9 对 测量 域 协 方差 矩阵 的 各 个 元 素 求 方差 ， 由 文献 [3] 可 推 ”控制 当前 重 构 方块 与 前 一 方块 的 相关 性 与 稳定 性 。 将 公式 (3) 得 
到 的 系数 w 通过 x= Do 得 到 图 像 块 》 对 应 的 高 分 辩 率 图 像 


出 ，var(C,)=( 之 .var(C,)， 式 中 、n 分 别 为 测量 域 和 频 域 
m 块 x 。 
信号 随机 向 量 的 样本 数量 ， 这 表明 它们 互 协 方差 矩阵 元 素 的 方 上 述 的 求解 过 程 只 利用 了 图 像 的 稀疏 性 来 约束 解 的 唯一 性 ， 


差 也 具有 对 应 的 线性 关系 ， 方 差 值 的 大 小 可 以 衡量 大 图 像 块 内 重 构 出 的 的 结果 图 会 出 现 虽 然 PSNR 值 很 高 但 是 与 原 图 差异 较 
各 个 子 块 的 相似 程度 ， 值 越 大 反映 出 子 块 之 间 的 差异 性 越 大 ， 大 、 细节 不 真实 等 问题 201。 所 以 仅 利 用 图 像 的 稀 疏 性 作为 先 验 
反之 则 越 小 ， 因 此 可 以 将 上 述 和 矩阵 的 方差 值 作为 特征 块 的 分 类 信息 还 不 够 ， 本 文 需要 加 入 图 像 的 自 相似 信息 名 来 引导 解 趋 于 


依据 ,将 var(C,) <7 的 图 像 决 作为 纹理 训练 集训 练 纹理 字典 对 原始 图 像 结构 更 一 致 的 方向 进行 调整 ， 提 高 重 构图 像 的 质量 。 
(D1,D*) ，var(C,)>7 的 图 像 块 作为 边缘 训练 集训 练 边缘 字典 。 ”本文 所 提 的 自 相似 信息 指 的 是 在 一 张 自 然 图 像 中 会 出 现 一 样 或 
(D!,D*) ， 依 据 实 验 经 验 值 本 文 取 了 =107 。 者 相似 的 信息 ， 在 实际 应 用 中 一 般 从 统计 学 的 角度 用 协 方差 矩 
Pe 阵 来 衡量 ， 本 文 使 用 接 下 来 将 提 到 的 块 匹配 方法 来 度量 。 
对 一 幅 低 分 辨 率 图 像 的 任 一 图 像 块 》 进行 超 分 辨 率 重 构 时 ， 
WwW。 根据 》 的 方差 选取 最 合适 的 特征 字典 对 (D',D*) ， 并 且 使 用 块 
匹配 方法 外 在 局 部 区 域 找到 它 的 相似 块 ， 用 集合 
S ={y',y,…y"} 表示 , 重 构 时 在 公式 (3) 的 基础 上 , 加 入 图 像 的 
ee 自 相似 性 ， 要 求 得 到 的 系数 a 不 仅 具 有 很 高 的 稀疏 度 ， 而 且 用 
es 它 表 示 的 高 分 辩 率 图 像 块 与 其 相似 块 $ 具有 一 定 的 相似 度 。 具 
体 利用 相似 块 集合 8 以 及 外 部 训练 的 字典 对 (D',D”*) 联合 求解 
的 过 程 可 以 用 式 (4) 表 示 。 
lL 人 四 WW mln Fp'al | Zhe FD'a’ | 
sls ll : 加 ， ， (4) 
bv 4 个 小 方块 的 测量 值 向 量 组 成 adel = pv el 
将 方块 拉 成 一 维 列 向 量 测量 大 方块 的 测量 值 矩 阵 


其 中 : 4 为 当前 处 理 图 像 块 》 的 稀疏 系数 ，w 为 相似 块 y' 在 低 
分 字典 Dp! 表示 下 的 稀 玻 系数 , 上 式 中 前 两 项 用 来 保证 低 分 辩 率 
图 像 的 保 真 度 ， 中 间 两 项 4 正则 化 用 来 保证 低 分 辨 率 图 像 块 用 


(b) 测量 过 程 
图 2 测量 域 二 次 分 块 构造 测量 矩阵 
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低 分 字典 D! 表示 的 稀疏 度 , 最 后 一 项 | 
的 高 分 图 像 块 与 当前 处 理 的 图 像 块 了 对 
度 ， 相 似 度 ) 


像 块 的 自 相 似 信息 ， 
致 性 。 将 图 像 块 的 稀 疏 性 


重 构 的 优 


参数 x; 控制， 


= 


Z 为 归 一 化 参数 。 


在 求解 


同时 纹理 真实 边缘 清 曲 


es 
2 p{— 


式 (4) 中 的 第 二 


取 值 为 


-下 
ee 
、 四 、 五 : 


系数 & 时 用 来 约束 其 


以 及 相似 性 同时 作为 约束 


来 保证 用 相似 块 重 构 出 
应 的 高 分 图 像 块 的 相似 


(5) 


项 为 新 加 入 的 
与 相似 块 的 一 


条 件 来 


化 问题 ， 可 以 保证 重 构 出 的 图 像 不 仅 有 丰富 


的 细节 


图 


解 


通过 求解 式 (4)， 得 到 图 像 块 》 的 稀 纹 解 a 。 由 于 训练 字 


的 高 分 辩 率 图 像 筷 。 
后 处 理 ， 使 得 最 终 得 到 的 重建 
像 降 质 模 型 保持 一 


其 中 ， XX, 为 1 次 迭代 后 的 高 分 辩 率 


如 此 依次 对 所 有 的 低 分 辩 率 图 像 小 块 处 理 


反 向 迭代 投影 算法 示意 
型 更 接近 的 方向 进行 调整 ， 即 


人 


然后 使 | 


=X,+((Y -DHX,)T s)*p 


已 经 保证 了 低 分 辨 率 字典 和 高 分 辨 率 字 典 原子 之 间 的 一 一 对 
应 关系 ， 所 以 通 


XX: 


过 求 得 下 式 得 到 图 像 块 了 对 应 的 高 分 辩 率 图 像 
x=D’a (6) 
便 可 以 得 到 最 终 


j 反 向 迭代 投影 0 对 不 进行 图 像 
高 分 图 像 与 输入 的 低 分 图 像 基于 


致 。 方 向 迭代 投影 算法 收敛 的 , 同时 算法 


图 如 图 3 所 示 , 引导 沿 着 与 降 质 


(7) 


器 , 个 s 为 上 采样 因子 , 将 上 式 改进 的 叉 ” 作 为 最 终结 果 图 像 
它 不 仅 能 很 好 地 近似 由 稀 玻 先 验 恢复 的 图 像素 ,同时 也 符合 
建 约束 条 件 。 


Projection 
A 


\ | 


2 


Backprojection 


实验 结果 与 分 析 


为 了 验证 本 文 提出 的 字典 分 类 算法 的 有 效 怕 


y 
总 
3 


图 像 ，P 为 反 向 投影 滤波 


重 


ChinaXiv 会 
约 


吴 科 永 ， 等 : 压 cs 


别 的 图 像 块 训练 对 应 类 别 的 字典 , 对 foreman 序列 的 前 50 帧 图 
像 使 用 分 类 字典 进行 SR 重 构 ,并 与 传统 进行 比较 ， 
结果 如 图 4 所 示 。 


字典 算法 


特征 字典 


PSNR/dB 


AN 
26 上 AN 人 站 


图 4 前 50 帧 重 构 PSNR 值 (foreman) 


图 4 可 以 看 出 ， 使 用 测量 域 分 类 字典 重 构 出 HR 结果 图 
像 相 比 于 单字 典 方法 PSNR 值 平均 提高 了 0.18 dB。 

5 给 出 foreman 序列 第 五 帧 图 像 分 别 使 用 单字 典 电 
类 字典 进行 SR 重 构 的 结果 图 像 。 


~ 


单字 由 
图 5 使 


分 类 字典 


单字 典 和 测量 域 分 类 字典 重 构 结果 图 


由 主观 结果 图 可 以 看 出 ， 用 分 类 字典 重 构 出 的 HR 图 像 在 
边缘 轮廓 要 比 单 特征 字典 更 加 清晰 ， 墙 面 纹 理 更 丰富 ， 这 是 攻 
为 不 同 特征 的 图 像 块 分 别 使 用 了 对 应 类 别 的 字 } 
能 力 得 到 了 提高 

为 了 验证 本 文 算法 的 有 效 性 ， 本 文 从 超 分 辩 率 算法 常用 的 
测试 集 set5004、set1402 中 选取 5 幅 有 代表 性 的 测试 图 像 进行 2 


， 字 典 的 表示 


图 3 反 向 迭代 算法 示意 图 


E， 使 用 不 同类 


倍 和 4 倍 超 分 辩 率 重建 ， 并 与 文献 2，3，13，14] 的 其 他 四 种 方 
法 进行 对 比 , 为 了 方便 表述 , 将 这 四 种 方法 分 别 命名 为 Bicubic、 
SCSR、FDSR、JDLSR。 评 价 指标 除了 主观 视觉 评价 外 ， 还 采 
用 峰值 信 噪 比 (PSNR) 和 结构 相似 度 (SSIM ) 两 个 客观 指标 。 
所 有 仿真 实验 均 在 一 台 配 置 为 AMD A8-5600K APU with 
Radeon(tm) HD Graphics 3600Mhz CPU 和 4GB 内 存 的 PC 上 进 
行 。 

考虑 到 人 眼 视 觉 系统 对 于 亮度 分 量 相 比 色 度 更 为 敏感 ， 本 
文 对 彩色 人 了 通道 进行 超 分 辩 率 重建 , 而 色 度 C, 和 
C; 通道 则 通过 Bicubic 插值 直接 上 采样 。 表 1 到 表 5 列 出 各 算 
法 进行 2x 重 构 的 PSNR 和 SSIM 值 。 
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表 1 lena 放大 2 倍 超 分 辩 率 结果 数据 表 4 child 放大 2 倍 超 分 辨 率 结果 数据 
PSNR/dB SSIM PSNR/dB SSIM 
Bicubic 32.79 0.887 Bicubic 37.05 0.992 
SCSR 35.01 0.923 SCSR 38.38 0.996 
FDSR 35.03 0.912 FDSR 38.33 0.995 
JDLSR 35.23 0.935 JDLSR 38.40 0.995 
Proposed 35.32 0.936 Proposed 38.46 0.998 
表 5 Butterfly 放大 2 倍 超 分 辨 率 结果 数据 
表 2 pepper 放大 2 倍 超 分 辩 率 结果 数据 PSNR/dB SSIM 
PSNR/dB SSIM Bicubic 27.46 0.909 
Bicubic 33.05 0.983 SCSR 31.10 0.953 
SCSR 34.17 0.989 FDSR 31.23 0.954 
FDSR 34.19 0.988 JDLSR 31.33 0.954 
JDLSR 34.33 0.989 Proposed 31.72 0.959 
Proposed 34.75 0.991 
由 表 1~5 中 数据 可 以 看 出 ， 本 文 提出 的 算法 相 比 于 其 他 算 
表 3 bird 放大 2 倍 超 分 辨认 结果 数据 法 重 构 出 的 高 分 辨 率 图 像 有 更 好 的 客观 质量 。 本 文 算法 在 
PSNRVdB SSIM PSNR 和 SSIM 两 方面 均 有 明显 的 提升 ， 其 中 PSNR 值 有 
RD 3 0 deo 0.006~0.77 dB 的 提升 ，SSIM 值 有 0.009~0.108 的 提升 。 
SCSR 3838 0.982 为 了 进一步 说 明 本 文 算法 结果 同时 县 有 良好 的 主观 视觉 效 
FDSR 38.33 0.981 果 ， 列 出 bird、child 放大 2 倍 以 及 butterfly、lena 放大 4 倍 的 
JDLSR 39.92 0981 高 分 辨 率 结果 图 像 ， 因 为 bird 的 鸟 嘴 、bufferfly 的 翅膀 纹 络 以 
Proposed 40.69 0.985 及 lena 的 帽 治 有 着 锐利 的 边缘 ，bird 的 羽毛 、child 的 眼睛 和 帆 
子 有 着 丰富 的 纹理 区 域 ， 本 文通 过 对 比 这 些 区 域 的 主观 视觉 间 
果 来 较 全 面 的 衡量 本 文 算法 的 性 能 。 


原 区 Bicubic 


Bicubic 


SCSR 


图 6 


SCSR 


图 7 


SCSR 
图 8 


FDSR 


bird 放大 2 倍 结果 图 


child 放大 2 倍 结果 图 


FDSR 
lena 放大 4 倍 结果 图 


JDLSR 


JDLSR 


Proposed 


Proposed 
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SCSR 


Bicubic 


对 


现 


从 上 面 结果 图 像 中 可 以 看 出 ， 图 6 中 本 文 算法 重 构 出 的 鸟 
中 中 尖 最 下 面 的 三 角形 处 更 加 锐利 ， 嘴 角 轮 廓 更 加 自然 ， 图 7 
小 孩 的 眼眶 轮廓 更 加 清楚 ， 了 瞳孔 更 加 明亮 自然 。 当 放大 倍数 较 
大 时 ， 原 图 像 经 过 降 质 得 到 的 低 分 辩 率 图 像 所 缺失 的 高 频 细节 
言 息 就 越 多 ， 重 构 时 恢复 细节 信息 的 过 程 也 就 越 困 难 ， 因 为 本 
文 方法 在 重 构 时 引入 图 像 的 非 局 部 自 相 似 信 息 ， 所 以 可 以 有 效 
的 保持 重 构图 像 的 边缘 细节 ， 由 图 8 结果 可 以 看 出 ， 其 他 方法 
结果 图 在 lena 帽 沿 处 锯齿 效应 比较 明显 ,而 利用 本 文 方法 得 到 
的 高 分 辨 率 图 像 帽子 边缘 更 加 清晰 ， 图 9 中 butterfly 翅膀 有 很 
多 相似 的 纹 络 ， 这 些 相似 块 在 重 构 过 程 中 可 以 提供 额外 信息 
对 比 图 可 以 看 出 本 文 方法 得 到 的 翅膀 纹 络 更 平滑 真实 ， 更 加 
接近 原 图 像 。 为 了 提高 算法 效率 ， 本 文采 用 的 图 像 块 的 思想 可 
能 导致 重 构 的 图 像 具 有 块 效应 以 及 增加 压缩 感知 本 身 的 重 构 误 
差 ， 从 实验 室 结果 表明 ， 本 文 方法 使 用 字典 分 类 思想 以 及 重 构 
时 引入 图 像 的 非 局 部 自 相 似 信息 ， 避 免 了 因 图 像 块 的 思想 带 来 
的 有 效 信息 损失 。 


i 


ell 


N| 


1 


3 ”结束 语 


本 文 提出 了 一 种 压缩 感知 和 相似 性 约束 的 图 像 超 分 辩 率 算 
法 ， 该 算法 同时 利用 了 图 像 的 稀 琉 性 和 自 相似 性 作为 先 验 知 识 
正则 化 重 构 过 程 。 在 利用 外 部 图 像 库 训 练 字典 的 过 程 中 ， 提 出 
种 基于 测量 域 的 特征 字典 分 类 方法 ， 对 外 部 图 像 库 在 测量 域 
分 别 训练 边缘 特征 字典 和 纹理 特征 字典 ， 增 强 外 部 训练 集 与 待 
重 构图 像 之 间 的 相似 度 ， 在 重 构 时 将 图 像 块 的 稀疏 性 和 自 相 似 
性 同时 作为 重 构 过 程 的 约束 条 件 恢 复出 高 分 辨 率 图 像 。 实 验 结 
果 表 明 该 算法 重 构 出 的 图 像 细节 真实 丰富 、 边 缘 清 晰 ， 且 主观 
效果 良好 。 不 过 目前 都 是 对 单 幅 图 像 进行 超 分 辨 率 重 建 ， 今 后 
的 进一步 工作 重心 会 将 算法 应 用 在 视频 超 分 辨 率 上 ， 充 分 利用 
视频 的 空 时 相关 性 进行 视频 超 分 辩 率 算法 研究 ， 算 法 研究 中 需 
要 降低 外 部 光照 对 图 像 的 影响 、 考 虑 视频 序列 帧 间 宛 余 信 息 的 
提取 ， 以 及 如 何 对 多 帧 视频 序列 进行 配 准 ， 实 现 多 帧 图 像 的 融 
合 ， 最 后 得 到 重 构图 像 主观 质量 和 客观 质量 方面 都 有 较 好 的 效 


四 
小 。 
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